前言:
其实威胁情报这个概念早些年就已经产生了,但近年来,随着安全领域的重视和快速发展,“威胁情报”一词迅速出现在这个领域,如今,许多安全企业都在提供威胁情报服务,众多企业的安全应急响应中心也开始接收威胁情报,并且越来越重视。
这四个字,对各位读者也许并不陌生。但究竟什么才是威胁情报,它是什么,它包含哪些方面,能做什么,能带来什么利弊,可能很多人都不清楚。本系列文章主要从威胁情报的基础与行业标准、技术方面进行科普,包含了概念、分类、应用场景、等等。在此之前,我也看过许多关于威胁情报的文章,在先知、绿盟、安全牛、微步在线、360等安全平台和厂商,都有见到关于情报之谈,大多数都是针对企业层次的情报应用与分析,很少有提及到威胁情报的入门,本系列文章借鉴相关报告与分析,结合个人理解与所学,写下关于情报的系列文章。
一、基本概念:
在这里,之所以说是结合个人理解与看法给情报一个概念而不是定义,是因为目前我们对威胁情报没有一致定义,许多企业与机构对情报概念进行过表述,但目前我们常用的定义是2014年Gartner在《安全威胁情报服务市场指南》(Market Guide for Security Threat Intelligence Service)中提出,即:
威胁情报是一种基于证据的知识,包括了情境、机制、指标、影响和操作建议。威胁情报描述了现存的、或者是即将出现针对资产的威胁或危险,并可以用于通知主体针对相关威胁或危险采取某种响应。
我们同时也可以参考2015年Jon Friedman和Mark Bouchard在《网络威胁情报权威指南》(Definitive Guide to Cyber Threat Intelligence)中所下的定义:
对敌方的情报,及其动机、企图和方法进行收集、分析和传播,帮助各个层面的安全和业务成员保护企业关键资产。
在我认为,威胁情报就是对企业产生潜在与非潜在危害的信息的集合。这些信息通常会帮助企业判断当前发展现状与趋势,并可得出所面对的机遇和威胁,再提供相应的决策服务。简而言之,对企业产生危害或者利益损失的信息,就可以称之为威胁情报。
二、目的和意义
威胁是什么?威胁可能潜在地损害一个公司的运转和持续发展。
威胁有三个核心要素构成:
- 意向:一种渴望达到的目的
- 能力:用来支持意向的资源
- 机会:适时地技术、手段和工具
通常来讲,公司无法辨别威胁。企业经常花费太多钱在攻击发生之后对漏洞的修补和调查问题上,而不打算在攻击出现之前就修复它。
威胁情报是一种基于数据的,对组织即将面临的攻击进行预测的行动。预测(基于数据)将要来临的的攻击。威胁情报利用公开的可用资源,预测潜在的威胁,可以帮助你在防御方面做出更好的决策,威胁情报的利用可以得到以下好处:
- 采取积极地措施,而不是只能采取被动地措施,可以建立计划来打击当前和未来的威胁;
- 形成并组织一个安全预警机制,在攻击到达前就已经知晓;
- 情报帮助提供更完善的安全事件响应方案;
- 使用网络情报源来得到安全技术的最新进展,以阻止新出现的威胁;
- 对相关的危险进行调查,拥有更好的风险投资和收益分析;
- 寻找恶意IP地址、域名/网站、恶意软件hash值、受害领域。
以往的企业防御和应对机制根据经验构建防御策略、部署产品,无法应对还未发生以及未产生的攻击行为。但是经验无法完整的表达现在和未来的安全状况,而且攻击手法和工具变化多样,防御永远是在攻击发生之后才产生的,而这个时候就需要调整防御策略来提前预知攻击的发生,所以就有了威胁情报。通过对威胁情报的收集、处理可以实现较为精准的动态防御,在攻击未发生之前就已经做好了防御策略。
三、行业标准和规范:
2018年10月10日,我国正式发布威胁情报的国家标准——《信息安全技术网络安全威胁信息格式规范Information security technology — Cyber security threat information format》(GB/T 36643-2018) ,成为国内第一个有关于威胁情报的标准。
然而国外的威胁信息共享标准已经有成熟且广泛的应用。其中,美国联邦系统安全控制建议(NIST 800-53)、美国联邦网络威胁信息共享指南(NIST 800-150)、STIX 结构化威胁表达式、CyboX 网络可观察表达式以及指标信息的可信自动化交换 TAXII 等都为国际间威胁情报的交流和分享题攻克可靠参考。而 STIX 和 TAXII 作为两大标准,不仅得到了包括 IBM、思科、戴尔、大型金融机构以及美国国防部、国家安全局等主要安全行业机构的支持,还积累了大量实践经验,在实践中不断优化。在这里先对几种常见的标准与规范进行简单介绍,后面的文章我会针对这几种规范进行详细介绍。
结构化威胁信息表达式(STIX)
结构化威胁信息表达式(Structured Threat Information eXpression,STIX)提供了基于标准XML的语法描述威胁情报的细节和威胁内容的方法。它支持使用CybOX格式去描述大部分其语法本身就能描述的内容,当然,它还支持其他格式。标准化将使安全研究人员交换威胁情报的效率和准确率大大提升,大大减少沟通中的误解,还能自动化处理某些威胁情报。实践证明,STIX规范可以描述威胁情报中多方面的特征,包括威胁因素,威胁活动,安全事故等。它极大程度利用DHS规范来指定各个STIX实体中包含的数据项的格式。
指标信息的可信自动化交换(TAXII)
指标信息的可信自动化交换(Trusted Automated eXchange of Indicator Information,TAXII)提供安全的传输和威胁情报信息的交换。TAXII不只能传输TAXII格式的数据,实际上它还支持多种格式传输数据。当前的通常做法是用其来传输数据,用STIX来作情报描述。TAXII在标准化服务和信息交换的条款中定义了交换协议,可以支持多种共享模型,包括hub-and-spoke,peer-to-peer,subscription。它在提供了安全传输的同时,还无需考虑拓朴结构、信任问题、授权管理等策略,留给更高级别的协议和约定去考虑。
网络可观察表达式(CybOX)
网络可观察表达式(Cyber Observable eXpression,CybOX)规范定义了一个表征计算机可观察对象与网络动态和实体的方法。可观察对象包括文件,HTTP会话,X509证书,系统配置项等。这个规范提供了一套标准且支持扩展的语法,用来描述所有我们可以从计算系统和操作上观察到的内容。在某些情况下,可观察的对象可以作为判断威胁的指标,比如Windows的RegistryKey。这种可观察对象由于具有某个特定值,往往作为判断威胁存在与否的指标。
信息安全技术网络安全威胁信息格式规范
标准从可观测数据、攻击指标、安全事件、攻击活动、威胁主体、攻击目标、攻击方法、应对措施等八个组件进行描述,并将这些组件划分为对象、方法和事件三个域,最终构建出一个完整的网络安全威胁信息表达模型。其中:
威胁主体和攻击目标构成攻击者与受害者的关系,归为对象域;
攻击活动、安全事件、攻击指标和可观测数据则构成了完整的攻击事件流程,归为事件域;即有特定的经济或政治目的、对信息系统进行渗透入侵,实现攻击活动、造成安全事件;而防御方则使用网络中可以观测或测量到的数据或事件作为攻击指标,识别出特定攻击方法;
在攻击事件中,攻击方所使用的方法、技术和过程(TTP)构成攻击方法,而防御方所采取的防护、检测、响应、回复等行动构成了应对措施;二者一起归为方法域。
其它规范
如今,我们谈论更多的是STIX,TAXII,CybOX这三个标准,其余的还有CPE、CCE、CCSS、CWE、CAPEC、MAEC、OVAL等等规范。所有这些标准规范的目标都是覆盖更全面的安全通信领域,并使之成为一种标准化的东西。到目前为止没有一个相关标准在国际上通用,但是其标准的制定推动威胁情报的发展,也希望我国发布的标准能尽快成为国内通用的规范。
四、威胁情报分类:
在这里,引用绿盟科技博客中各个安全情报厂商的情报平台白皮书的关键词。可以看到如下三级大词,其中信息为出现最多的大词。
- 一级大词:信息
- 二级大词:情报、关联、域名、IP和文件
- 三级大词:查询、恶意和威胁
对于威胁情报的分类,无论是国内国外,业界也有众多定义,最为广泛传播是Gartner定义的,按照使用场景进行分类:以自动化检测分析为主的战术级情报、以安全响应分析为目的的运营级情报,以及指导整体安全投资策略的战略级情报。关于分类,在这里简单介绍企业间通用的几个大类,后面会有文章单独介绍从白帽子的角度,威胁情报可以有哪些类型。
1. 运营级情报
运营级情报是给安全分析师或者说安全事件响应人员使用的,目的是对已知的重要安全事件做分析(报警确认、攻击影响范围、攻击链以及攻击目的、技战术方法等)或者利用已知的攻击者技战术手法主动的查找攻击相关线索。在运营级情报中,有最为常用的四种情报分类:基础情报、威胁对象情报、IOC情报和事件情报。
1.1 基础情报
简而言之,基础情报就是这个网络对象(IP/Domain/email/SSL/文件)是什么,谁在使用它。具体到基础数据则包含开放端口/服务、WHOIS/ASN、HASH、地理位置信息等。
1.2 威胁对象情报
威胁对象情报,相对于比较容易理解。此类情报指的是提供和威胁相关的对象信息,比如说IP地址、域名等等,简单地说,就是提供犯罪分子的犯罪证据和记录。
1.3 IOC情报
Indicator of compromise,意为威胁指示器,通常指的是在检测或取证中,具有高置信度的威胁对象或特征信息。
1.4 事件情报
事件情报则是综合各种信息,结合相关描述,告诉运营者外部威胁概况和安全事件详情,进而让安全运营者对当前安全事件进行针对性防护。
2. 战术级情报
战术情报的作用主要是发现威胁事件以及对报警确认或优先级排序。常见的失陷检测情报(CnC情报,即攻击者控制被害主机所使用的远程命令与控制服务器情报)、IP情报就属于这个范畴,它们都是可机读的情报,可以直接被设备使用,自动化的完成上述的安全工作。
3. 战略级情报
战略层面的威胁情报是给组织的安全管理者使用的,比如CSO。它能够帮助决策者把握当前的安全态势,在安全决策上更加有理有据。包括了什么样的组织会进行攻击,攻击可能造成的危害有哪些,攻击者的战术能力和掌控的资源情况等,当然也会包括具体的攻击实例。
五、要点
情报不是越多越好,适合的情报才是实用的。
威胁数据和威胁信息有很多,准确无误的才能称作为威胁情报。数据是对客观事物的数量、属性、位置及其相互关系的抽象表示。信息是具有时效性的、有一定含义的、有逻辑的,有价值的数据集合。情报是运用相关知识对大量信息进行分析后产出的分析结果,可以用于判断发展现状与趋势,并可进一步得出机遇和威胁,提供决策服务。
1、情报的艺术
Accuracy(准确性):是否足够详细和可靠。
威胁情报的作用是为安全团队提供相关信息并指导决策,如果情报不准确,不但没有产生价值,反而会对组织的安全决策会造成负面影响。
举例:前段时间华住酒店集团数据泄露并且售卖一事,紫豹科技第一时间发现了该动向,随后警方介入调查,并成功在数据未成功售出之前抓捕嫌疑人。这里面,情报来源准确,才能促使威胁活动迅速结束蔓延。
Relevance(相关性):是否可适用于组织的业务或行业。
威胁情报种类杂,应用场景复杂,不同的情报可能位于攻击链的不同阶段,不同的场景侧重的是不同的攻击者,不是所有的信息都是适用的,相关性较弱的情报会导致分析人员的繁重任务,并且会导致其他有效情报的时效性失效。
比如说,根据情报消息显示,有黑客要对医药企业进行大面积攻击,以获取药品研发数据来谋取利益。金融企业听闻有黑客要大面积入侵并不知晓只是针对医药企业之后,立马投入大量人力物力去研究分析情报,后来发现与自己毫无联系。
在获取情报之后,首先要了解针对行业或者业务范围,盲目的去做不必要的事情,导致的是大量的损失,且耽搁了其余相关情报的分析。
Timeliness(时效性):在利用前先判定情报是否已经失效。
威胁情报是信息的集合,凡是信息,都具有时效性。往往情报的有效时间会很短,攻击者会为了隐藏自己的踪迹不断的更换一些特征信息,比如说IP地址、手法等等。
比如,某企业服务器一直被大量的cc攻击,调取服务器日志,并且成功溯源到IP之后,企业发现无损失并未做处理。等企业发现有机密信息被窃取后再去处理,发现追踪到的IP已经无效,这就错过了情报的最佳时期。
2、情报的特点
- 多:威胁情报数据来源多,范围广。每天产生的情报数据可能就足够让分析人员疲惫不堪。所以找到有效的需要一个快速的处理过程。
- 杂:威胁情报种类繁琐杂乱,应用场景复杂,不同的情报可能位于攻击过程的不同阶段,不同的场景侧重的也可能是不同的攻击者。
- 快:互联网时代,信息产生速度快,相对于威胁情报更新快,如果没有合适的自动处理模型,会导致前两个问题,这就需要企业拥有快速处理情报的能力。
3、情报的分析
分析威胁时,我们可以从这样的角度去分析:
- 发生哪种攻击行为并且最坏的结果是什么?
- 如何预知和检测攻击行为?
- 如何识别与区分这些攻击行为?
- 如何防御这些攻击行为?
- 谁组织了攻击行为?
- 想达到什么样的目的?
- 用TTP三要素来衡量,能力是什么?
- 他们最可能针对什么进行攻击?
- 过去他们的攻击行为有哪些?
通过分析,可以更明确威胁活动的发生与经过,并及时进行调整防御策略,进行事件响应。
五、威胁情报平台
1、微步在线
中国首家专业的威胁情报公司。它是国内第一个综合性的威胁分析平台,秉承公开、免费、自由注册的原则,为全球的安全分析人员提供了一个便利的一站式威胁分析平台,用来进行事件响应过程的工作,包括:事件确认、危险程度和影响分析、关联及溯源分析等。主要特征:自由公开的服务、多引擎文件检测、行为沙箱、集成互联网基础数据、集成开源情报信息、关联分析、机器学习、可视化分析。
特点:基于海量网络基础数据生产威胁情报,具有覆盖度高、可执行力强、专业性强、准确度高、可扩展性强等优势。
2、IBM X-Force Exchange
URL:https://exchange.xforce.ibmcloud.com
IBM X-Force Exchange 是一款基于云的威胁情报共享平台,支持使用、共享威胁情报并采取行动。它支持快速搜索全球最新安全威胁,汇总可操作情报、向专家咨询并与同行进行合作。IBM X-Force Exchange 由人员和机器生成的情报支持,可利用 IBM X-Force 的规模来帮助用户在新兴威胁面前保持领先地位。
3、360威胁情报中心
360 Alpha威胁分析平台,是360企业安全为安全分析师提供一站式分析工具,具备完备的威胁情报和互联网基础数据,在数据覆盖度、信息种类、数据的时间/空间跨度都具备较大优势。
4、RedQueen安全智能服务平台
URL:https://redqueen.tj-un.com/IntelHome.html
天际友盟的情报应用解决方案已在国内多家政府机构,以及金融、互联网、通信、能源等行业的多家龙头企业得到实践,有用综合应用多项业内领先的情报应用技术。主要特征:安全情报、漏洞情报、最新资讯、威胁溯源、自由公开的服务、集成互联网基础数据、集成开源情报信息、关联分析、机器学习、可视化分析。
5、AlienVault
URL:https://otx.alienvault.com
它递送社区产生的威胁数据,能够协作各个来源的威胁数据,自动更新你的安全基础设施。其收购了threatcrowd,拥有IP、域名、文件、邮件等情报。主要特征:垃圾页面、钓鱼网页、恶意软件和间谍软件、匿名代理攻击和P2P网络、暗网IP、管理僵尸网络的C&C服务器、域名、IP地址、邮件地址、文件哈希、杀软检测。
六、本文总结
威胁情报标准的制定带来了重大意义。有了通用模型做参考,业内对网络安全威胁信息的描述就可以达到一致,进而提升威胁信息共享的效率和整体的网络威胁态势感知能力。
威胁情报为安全团队提供了及时识别和应对攻击的能力,提供了快速提高运营效率的手段。情报是可供决策的信息,实用化的威胁情报为安全决策提供了有价值的信息,获得实用化情报固然重要,但一个高水平的安全团队对于利用好这些情报,作出正确的决策是更重要的。威胁情报的出现,让企业拥有了快速应对和响应安全事件的能力。情报即为信息,信息不一定是情报。把握好情报的利用,会对企业的业务与行业安全产生极大的推进作用。
威胁情报的出现和利用,使得防御者能比攻击者更快地找到反击措施,并且使攻击者的入侵成本将会急剧上升。总而言之,威胁情报的价值很多,但相关性才是最有价值的。